Kawasan Little Bay pertama kali digunakan sebagai kem sanitasi ketika wabah cacar di Sydney pada tahun 1881-82, untuk mengasingkan hubungan yang sihat dari penghidap penyakit ini. Pada mulanya, sebuah "kota khemah" didirikan di pantai, tetapi pemerintah juga memutuskan untuk membangun sebuah hospital tetap di sini untuk mengobati penyakit berjangkit. Little Bay adalah lokasi yang ideal kerana terpencil dari penempatan tetapi masih cukup dekat dengan Sydney. Hospital Coast sangat berharga semasa wabak bubonic di Sydney tahun 1900 dan sekali lagi ketika tentera yang kembali dari Eropah membawa virus influenza kembali pada tahun 1919. Hospital Pantai menjadi Hospital Prince Henry pada tahun 1934. Pada tahun 2001 perkhidmatan dipindahkan ke Prince of Wales Hospital, Sydney dan tapak hospital menjadi tersedia untuk kegunaan kediaman.[4]

Masih ada sembilan belas bangunan tersenarai warisan di lokasi dari zaman Coast/Putera Henry.

Dua mercu tanda masih ada sejak hospital. Salah satunya adalah Pemakaman Pantai, yang terletak di selatan Little Bay. Kira-kira dua ribu lima ratus orang dikebumikan di sana, dengan kubur tertua terletak di selatan, menuju Cape Banks. Tanah perkuburan itu diambil alih oleh Taman Nasional dan Perkhidmatan Hidupan Liar New South Wales ketika Taman Negara Teluk Botany dibuat. Sebilangan besar kubur sekarang berada di bawah tumbuh-tumbuhan untuk melindungi mereka.

Mercu tanda lain ialah Kapel Peringatan Interdenominasional, yang menghadap Teluk Little. Ia musnah akibat kebakaran pada Oktober 1981, tetapi kemudian dibina semula pada tahun 1982. Di luar kapel terdapat sebilangan plak peringatan yang dikhaskan untuk bekas kakitangan hospital.

Teluk Little pada awalnya dipanggil Yarra Junction tetapi surat akan berakhir di Melbourne (Vic) sehingga penduduk meminta nama pinggir bandar diubah. Ini diberikan dan diubah menjadi Phillip Bay Heights (Phillip Bay adalah pinggir kota yang terletak di antara Teluk Little dan Teluk Botany) tetapi kerana semua orang memanggil kawasan itu Teluk Little inilah nama yang akhirnya diterima secara rasmi. Selama tahun 1950-an, sebahagian besar tanah disediakan untuk anggota tentera yang dikembalikan melalui Perundangan Perang.

Pada tahun 1969, para seniman antarabangsa Christo dan Jeanne-Claude membuat arca terbesar di dunia di Teluk Little yang disebut: "Wrapped Coast - One Million Square Feet, Little Bay, Sydney, Australia" (Pantai dibalut - Sejuta Kaki Persegi, Teluk Little, Sydney, Australia).[5] Banyak seniman dan pelajar Australia secara sukarela menolong mereka membungkus garis pantai sepanjang 2.4 kilometer, dengan lebar 46 hingga 244 meter, tinggi hingga 26 meter di tebing utara, dan di permukaan laut di pantai berpasir selatan. Ini memperkenalkan karya seni radikal yang pada masa itu kontroversial dan mempolarisasi masyarakat. Ini menandakan permulaan bab baru seni kontemporari di Australia dan hari ini dianggap sebagai projek kemenangan. Christo dan Jeanne-Claude terus membungkus kereta, galeri, pulau, dan bahkan bangunan Reichstag di Jerman.